Trong tiểu thuyết Đông Chu liệt quốc chí của Phùng Mộng Long, Tư Mã Thượng xuất hiện ở hồi 106. Thừa dịp Triệu gặp thiên tai, Tần vương Chính phái Vương Tiễn, Dương Đoan Hòa chia quân hai lộ đánh Triệu. Tướng Triệu là Lý Mục đóng trại ở núi Hôi Tuyền, khiến quân Tần không tiến lên được. Vương Tiễn theo ý Vương Ngao, cho người sang hẹn với Mục tạm thời ngưng chiến. Mục đồng ý, cho người báo lại với Triệu vương. Vương Ngao sang Triệu, hối lộ gian thần Quách Khai, khuyên Khai gièm pha với Triệu vương rằng: Lý Mục tự ý hòa đàm với Tần là vì mưu đồ tạo phản, cắt đất Đại làm nước riêng. Triệu vương nghe theo, lấy Triệu Thông, Nhan Tụ làm đại tướng, muốn cho hai người thay Lý Mục cầm quân, dùng cớ phong Mục làm tướng quốc để triệu hồi.[3]

Triệu vương lấy Tư Mã Thượng làm sứ giả, cầm tiết, đến núi Hôi Tuyền tuyên bố mệnh lệnh. Thượng nói riêng với Mục rằng: Quách Khai gièm tướng quân muốn tạo phản, Triệu vương nghe theo, đòi tướng quân về làm tướng quốc, chỉ là lời nói dối mà thôi! Lý Mục nổi giận, muốn dẫn quân trở về giết Quách Khai rồi lại chống Tần. Thượng khuyên rằng: Tướng quân dấy quân xâm phạm cung cấm, người biết cho là trung, người không biết cho là phản, chỉ làm cho kẻ gièm pha có cớ để nói. Tài năng của tướng quân, lập công danh ở đâu cũng được, hà tất phải ở Triệu! Lý Mục nghe theo lời khuyên, cầm tướng ấn bỏ trốn, bị Triệu Thông bắt được, chém đầu. Tư Mã Thượng không dám về triều, đem vợ con trốn ra biển.[3]

Trong tập hợp tiểu thuyết Toàn tương bình thoại thời Nguyên (tiền thân của các tiểu thuyết Phong thần diễn nghĩa, Đông Chu liệt quốc chí, Tam quốc diễn nghĩa), khi quân Tần bao vây Hàm Đan, Tư Mã Thượng nói riêng với Lý Mục: Trong thành không có tướng biết đánh trận, không bằng bắt Triệu vương dâng cho Vương Tiễn, ai nấy đều là công. Mục không nghe theo, Thượng bèn gièm với Triệu vương: Lý Mục không chịu xuất chinh, mưu đồ tạo phản, mong sớm trừng phạt. Triệu vương liền lấy Thượng làm sứ giả ban rượu độc cho Lý Mục. Thượng sợ hãi không nhận, triều đình lấy Triệu Thông thay thế. Lý Mục không dám oán hận, than rằng: Ta chết không oan. Hôm trước Tư Mã Thượng khuyên ta phản Triệu theo Tần, lấy đó làm công lao; ta không nghe theo, hắn lại gièm đại vương ban ta chết. Nhờ ngài nói lại với đại vương.[4]

Sứ giả trở về thuật lại lời của Mục. Triệu vương tỉnh ngộ, lại phái Triệu Thông đem rượu độc đến ban cho Tư Mã Thượng. Thượng khóc, than: Ta vô tội, sao lại bị ban chết? Sứ giả đáp: Hôm trước Lý Mục nói rằng người muốn khuyên hắn tạo phản, hắn không nghe, ngươi lừa đại vương ban chết. Giờ đại vương ban thưởng cho ngươi, không được oán hận. Thượng uống rượu mà chết, Triệu Thông cắt đầu về dâng. Triệu vương nửa buồn nửa vui.[4] Hình tượng Tư Mã Thượng của cả hai bộ đều có sự khác biệt so với lịch sử, nhưng hình tượng Đông Chu liệt quốc gần gũi với lịch sử hơn.

Trong manga Vương giả thiên hạ của Hara Yasuhisa, Tư Mã Thượng xuất hiện ở hồi 502, là một tướng lĩnh xuất sắc từng được đề cử trở thành một trong Tam đại thiên (三大天) nhưng đã từ chối. Khi Lý Mục dẫn quân sang phía tây chống Tần, quân Yên do Ngột Lỗ Đa (兀魯多) chỉ huy xâm lấm. Tư Mã Thượng dẫn 5.000 quân lên phía bắc phòng thủ, nhận được sự tin tưởng tuyệt đối của Lý Mục, đã cầm chân và đánh bại 20.000 quân Yên.